Ông gia nhập Đảng Cộng sản Việt Nam vào ngày 05/7/1993.

Ông từng làm công tác kế toán, Kế toán trưởng Xí nghiệp Xây dựng Quỳnh Lưu, Nghệ An (01/1988-5/1993), Kế toán trưởng Xí nghiệp xây lắp 5, Công ty xây dựng 7, Nghệ An (5/1993-10/1994); Kế toán trưởng Ban Quản lý dự án đầu tư xây dựng thị xã Cửa Lò, Nghệ An (10/1994-10/1997);

Sau đó ông được bầu làm Ủy viên Ban Chấp hành Đảng bộ thị xã, Ủy viên Ủy ban nhân dân thị xã, Trưởng phòng Tài chính - Vật giá thị xã Cửa Lò, Nghệ An (10/1997- 9/2000); Ủy viên Ban Chấp hành Đảng bộ thị xã, Phó Chủ tịch Ủy ban nhân dân thị xã Cửa Lò, Nghệ An (9/2000- 5/2004), Phó Bí thư Thị ủy, Chủ tịch Ủy ban nhân dân thị xã Cửa Lò (5/2004-8/2007).

Ủy viên Ban Chấp hành Tỉnh ủy, Ủy viên Ban Thường vụ Tỉnh ủy, Phó Chủ tịch Ủy ban nhân dân tỉnh Nghệ An (8/2007 -10/2010); Phó Bí thư Tỉnh ủy, Phó Chủ tịch Ủy ban nhân dân tỉnh Nghệ An (10/2010-12/2010); Phó Bí thư Tỉnh ủy, Chủ tịch Ủy ban nhân dân tỉnh Nghệ An (12/2010-5/2013)[6].

Bí thư Tỉnh ủy Nghệ An từ 12 tháng 3 năm 2013 đến 16 tháng 4 năm 2016.[7]

Chủ tịch HĐND tỉnh Nghệ An từ 18/12/2015 đến 29/6/2016.[8], Ủy viên Trung ương Đảng (26/01/2016-nay)[9].

Ngày 5/4/2016, tại kỳ họp cuối cùng của quốc hội khoá XIII, Hồ Đức Phớc được bầu giữ chức vụ Tổng Kiểm toán Nhà nước.

Đại biểu Quốc hội Việt Nam nhiệm kì 2016-2021